Python imports and definitions


In [1]:
from oneflow.core.models.nonrel import *

from IPython.display import display_pretty, display_html, display_jpeg, display_png, display_json, display_latex, display_svg
from markdown_deux.templatetags.markdown_deux_tags import markdown_filter

def markdown(thing):
    display_html(markdown_filter(thing), raw=True)


Django found.
Django found and fields and widgets loaded.

Markdown content display


In [4]:
article = Article.objects.get(id='51c66307e7a05b27f68eb9f8')

In [6]:
article.content


Out[6]:
u'<p>Venkatesh Srinivas did <a href="http://leaf.dragonflybsd.org/mailarchive/kernel/2011-02/msg00039.html">a comparison</a> of the default scheduler in DragonFly with the \u201cfairqueue\u201d scheduler, using <a href="http://users.on.net/~ckolivas/interbench/">Interbench</a>, the \u201cinteractivity benchmark\u201d.\xa0 The numbers don\u2019t show a deficit relative to either side, which is OK I guess?\xa0 I\u2019m not sure how to analyze it.</p>'

In [7]:
article.convert_to_markdown()


Article Scheduling, fair or not (#51c66307e7a05b27f68eb9f8) from http://www.shiningsilence.com/dbsdlog/2011/02/22/7306.html cannot be converted to Markdown, it is not currently HTML.

In [8]:
article.content_type


Out[8]:
0

In [9]:
article.fetch_content()


Parsing text content for article Scheduling, fair or not (#51c66307e7a05b27f68eb9f8) from http://www.shiningsilence.com/dbsdlog/2011/02/22/7306.html…
Starting new HTTP connection (1): www.shiningsilence.com
"GET /dbsdlog/2011/02/22/7306.html HTTP/1.1" 200 None
>>> -37.000000: <div id="footer"><hr/><p><a href="http://www.shiningsilence.com/dbsdlog">DragonF
>>> 7.000000: <html xmlns="http://www.w3.org/1999/xhtml"><body><div id="container"><div id="pa
>>> 24.500000: <body><div id="container"><div id="page"><div id="content"><div class="post-7306
>>> 2.000000: <ul><li><a href="http://wordpress.org" title="WordPress Engine">WordPress</a> |<
>>> 7.000000: <p>Venkatesh Srinivas did <a href="http://leaf.dragonflybsd.org/mailarchive/kern
>>> 2.000000: <li><a href="http://wordpress.org" title="WordPress Engine">WordPress</a> |<span
>>> 333.500000: <div class="post-7306 post type-post status-publish format-standard hentry categ
>>> 177.000000: <div id="page"><div id="content"><div class="post-7306 post type-post status-pub
>>> 124.000000: <div class="entry-content"><p>Venkatesh Srinivas did <a href="http://leaf.dragon
>>> 238.000000: <div id="content"><div class="post-7306 post type-post status-publish format-sta
>>> 59.500000: <div id="container"><div id="page"><div id="content"><div class="post-7306 post 
/home/1flow/.virtualenvs/1flow/local/lib/python2.7/site-packages/mongoengine/base/fields.py:113: UnicodeWarning: Unicode unequal comparison failed to convert both arguments to Unicode - interpreting them as being unequal
  instance._data[self.name] != value):

Converting article Scheduling, fair or not (#51c66307e7a05b27f68eb9f8) from http://www.shiningsilence.com/dbsdlog/2011/02/22/7306.html to markdown…
Done parsing content for article Scheduling, fair or not (#51c66307e7a05b27f68eb9f8) from http://www.shiningsilence.com/dbsdlog/2011/02/22/7306.html.

In [22]:
markdown(article.content)


02/22/2011

Venkatesh Srinivas did a comparison of the default scheduler in DragonFly with the “fairqueue” scheduler, using Interbench, the “interactivity benchmark”.  The numbers don’t show a deficit relative to either side, which is OK I guess?  I’m not sure how to analyze it.

En portugais


In [5]:
article = Article.objects.get(id='51cbefd4e7a05b27f6c9db68')
markdown(article.content)


Ter, 25/06/2013 às 12:12

IDV prevê alta de 6,4% a 8,3% nas vendas até agosto

Dayanne Sousa | Agência Estado

comentários (0)

-AA+

O Instituto para o Desenvolvimento do Varejo (IDV) espera recuperação das vendas no varejo nos próximos meses. O Índice Antecedente de Vendas (IAV), calculado pelo Instituto, aponta para altas de 6,4% a 8,3% entre junho e agosto. Também aponta para um restabelecimento do volume de vendas de bens não duráveis a partir de maio. O consumo vinha sendo prejudicado pela inflação de alimentos. Para junho, o Instituto espera crescimento de 5,6% desse segmento ante o mesmo mês do ano anterior.

Os semiduráveis compõem o grupo com desempenho mais constante no período. Os associados do IDV falam em uma alta de 9,7% em junho e de 9,4% em julho. Para o setor de bens duráveis, a estimativa é de 5,2% para junho e o mesmo índice para julho.

As perspectivas positivas para as vendas de grandes varejistas associadas ao IDV não consideram os possíveis impactos da recente alta do dólar ante o real nem perdas com as manifestações em diversas cidades brasileiras na última semana.

Marcos Gouvêa, fundador e diretor-geral da GS&MD, consultoria responsável pela compilação dos dados, destaca que a coleta foi anterior ao crescimento das manifestações e à alta do câmbio. "Fosse esse dado apurado esta semana, a projeção para julho e agosto seria um pouco mais cautelosa", destacou. Apesar disso, ele ponderou que é difícil estimar com precisão qual o impacto dos dois eventos no varejo.

Flávio Rocha, presidente do IDV e da Guararapes/Riachuelo, afirmou que as lojas da rede de varejo têxtil funcionaram apenas 90% do tempo que normalmente funcionariam durante a última semana. Ele ponderou que, além do tempo perdido, há um impacto ainda maior por causa da perda de confiança do consumidor. Rocha destacou ainda que uma das lojas em shopping de Natal chegou a correr risco de depredação durante manifestação na cidade, mas que foi protegida por seguranças.

Apesar de destacarem as incertezas, Rocha e Gouvêa sustentaram que acreditam na recuperação do volume de vendas nos próximos meses. Em maio, as vendas do varejo ficaram abaixo do esperado, com alta de 4,4% segundo o IDV. Os executivos destacaram o impacto de um Dia das Mães mais fraco do que o esperado.

Na opinião de Fernando de Castro, vice-presidente do IDV, maio também foi o período em que aumentou a incerteza dos consumidores quanto a renda, emprego e inflação. Na opinião dele, porém, foi uma reação imediata e as compras da famílias devem voltar conforme as pessoas se acostumem com o atual ambiente macroeconômico.

<>


In [6]:
rue89 = Feed.objects.get(id='51c66183e7a05b27f68ce43c')

In [7]:
a = rue89.latest_article

In [8]:
markdown(a.content)


Depuis huit ans, Frelontin est au bord des routes du Tour de France avec

le même accoutrement. Derrière le masque, il y a Jean-Pierre, un retraité déluré à la recherche de popularité.

Frelontin, « emblème du Tour » depuis 8 ans. (@Le Tour en Têtes)

La rencontre peut déstabiliser. Posté au bord d’une route de campagne, la sono crachant de l’accordéon, Jean-Pierre est là, tout de plastique jaune et noir vêtu.

À chaque passage de cyclistes, avec la régularité d’un sportif de haut niveau, le rituel est le même pour se mettre en position. Jambes écartées, genoux fléchis, la tapette à mouches dans une main, le V de la victoire avec les doigts de l’autre, il agite les bras, statique.

À l’intérieur de sa caravane, peluches, dessins et photos envahissent l’espace. Le déguisement encombre la totalité du minuscule matelas. Le frelon et Jean-Pierre, c’est une histoire fusionnelle.

Une fois le costume enfilé, il devient « Frelontin », plus question de l’appeler par son prénom. Très peu de personnes connaissent son nom de famille. Même sa femme se présente comme « Madame Frelontin ». Un personnage fictif qui a pris une importance envahissante dans sa vie réelle.

Depuis huit ans, Jean-Pierre parcourt les routes des courses cyclistes françaises à bord de sa caravane tapissée de l’univers du petit insecte bourdonnant. Paris-Nice, Paris-Roubaix, Tour du Poitou-Charentes … Pour cet ancien cycliste, le Tour de France le moment-clé : il faut s’y montrer sur un maximum d’étapes.

A l’intérieur comme à l’extérieur du camping-car, Jean-Pierre et Frelontin ne font qu’un. (@Le Tour en Têtes)

Pas la peine de chercher une quelconque logique dans le choix de son personnage. Après avoir posé la question une bonne dizaine de fois, la réponse est toujours la même :

« Dans mon grenier, j’avais un niz de frelons pendant plusieurs mois sans m’en rendre compte. Je voyais les frelons passer au-dessus de moi pour rentrer dans le toit. Mais je ne me suis jamais fait piquer.

>

Ça n’attaque pas un frelon, il faut l’embêter pour se faire attaquer.

>

Les pompiers sont venus et nous ont dit que si on avait attendu deux jours de plus, des milliers de frelons seraient sortis. Mais peut-être qu’on aurait pas été attaqués. Alors je me suis dit qu’il y avait un thème rigolo à creuser avec le frelon, mais autour du Tour de France. »

Implacable. Martine, sa femme, a une explication plus esthétique :

« C’est surtout la beauté de l’insecte qui l’a inspiré. C’est assez majestueux un frelon. »

Plastique et bonne humeur

La première année, à l’Alpe d’Huez, Jean-Pierre se contente d’embarquer sur le toit de sa voiture un frelon à vélo paré du maillot jaune. Face au « succès » de son personnage, il décide d’aller plus loin, et commence à se déguiser avec des boîtes en carton.

Pas très résistant, il finit par opter pour le plastique. Quelques coups de peinture et trois semaines de travail plus tard, Frelontin est né :

« Mon but, c’est donner du plaisir aux gens. À chaque fois que le Tour de France arrive, on parle de dopage. Les gens se fichent de ça ; dopé ou pas dopé, il faut le faire. Je suis là pour remettre un peu de gaieté dans tout ça. »

Amuser la galerie, c’est son dada, histoire de faire oublier l’attente et les problèmes de dopages. (@Le Tour en Têtes)

Au-delà de l’altruisme de la démarche, Frelontin représente un investissement considérable pour ce modeste couple de retraités :

« Un Tour de France, c’est environ 2 000 euros. Ce sont nos seules vacances de l’année. »

Même à la retraite, Jean-Pierre continue de travailler pour financer sa passion. En tant qu’auto-entrepreneur, il forme des jeunes à la conduite de machines pour découper du carton, secteur dans lequel il a travaillé toute sa vie.

La pratique d’activités commerciales étant interdite pour les particuliers au bord des routes, Jean-Pierre n’a jamais cherché à rentabiliser son activité :

« Soit je le fais correctement, soit je ne le fais pas du tout. Donc je ne demande rien aux gens. Je paye tout. Mais si je gagnais un euro à chaque fois que les gens me prennent en photo, je pourrais m’acheter un camping car tout neuf. Je pourrais me faire sponsoriser par une marque mais pour ça, je ne suis peut-être pas encore assez connu. »

« Il faut qu’on me reconnaisse »

Au bout de cinq minutes, « le Diablo “ finit toujours par arriver dans la conversation. Personnage mythique chez les adeptes du Tour, il court après les cyclistes depuis vingt ans avec cornes rouges et trident. Sur la porte de sa caravane, Jean-Pierre affiche fièrement une photo du diable et lui, bras dessus bras dessous.

Un soir entre deux étapes, on a aperçu la voiture du diable faire quelques kilomètres aux côtés de la caravane de Jean-Pierre. Ils se sont salués, ont échangé quelques blagues, avant de se séparer en rejoignant la route du Tour. Quand Jean-Pierre parle de lui, on ressent de l’admiration, teintée d’une amicale rivalité :

‘C’est un copain, on s’entend bien, mais il faut qu’on se respecte. Une fois, je m’étais mis trop près de lui, j’ai vu qu’il me faisait la tête. Il avait peut-être peur de la concurrence.

>

C’est surtout vis-à-vis de la caravane et des caméras que ça se joue. Il faut qu’ils nous fassent de la pub à tous les deux. Si on était tous les deux au même endroit, ils ne sauraient pas de qui parler. Donc on se sépare toujours d’au moins un kilomètre.

>

Certains voudraient qu’on se mette ensemble à une étape, mais c’est pas facile, il y en aura toujours un qui ne voudra pas. Lui, c’est le diable, moi c’est le frelon, ça s’arrête là.’

Pour Frelontin, le meilleur moyen de passer à la télé, c’est la déco. (@Le Tour en Têtes)

La popularité est une quête chez Jean-Pierre. Quand on lui demande son meilleur souvenir du Tour de France, il parle de son premier passage à la télévision. Et défend son jusqu’au-boutisme :

‘Il faut que je sois toujours habillé pareil, peu importe le temps qu’il fait. C’est difficile, il faut supporter la chaleur l’été, le froid l’hiver. Il faut assumer jusqu’au bout, je reste du premier au dernier cycliste quoiqu’il arrive. La régularité, c’est important, il faut qu’on me reconnaisse.’

‘Ce ne sont pas des vacances de tout repos’

À ses côtés depuis quatre ans, Martine, une aide soignante à la retraite. Ces deux-là se sont rencontrés sur Internet, et vivent un mariage tranquille depuis.

Malgré tout, Martine s’amuse des bêtises de son mari. (@Le Tour en Têtes)

Quand elle a rencontré Jean-Pierre, Martine savait qu’elle embrassait la vie d’un ‘totem’ du Tour. Pas particulièrement mordue de vélo, elle s’est quand même laissée embarquer dans l’aventure :

‘Ce ne sont pas des vacances de tout repos. On est au bord des routes avec plein de bruit, je ne peux même pas sortir mon fauteuil pour lire. Moi, je ne dors pas. Ça nous rend un peu ronchons parfois.

>

C’est pas que ça me dérange, mais c’est dommage parce que parfois il y a des beaux coins, et on ne visite jamais. En même temps, avant de le connaître, ma vie ça a été boulot, dodo’ pendant dix-sept ans. Maintenant mes copines m’appellent le routier.”

Martine assume volontiers le rôle de coach, cachée dans l’ombre de la caravane. En bonne mère poule, elle dégage gentiment ceux qui auraient le malheur de s’installer devant les décorations :

“Il faut qu’on le voit. Sinon, tout son travail ne sert à rien.”

“Folie douce”

Dans leur famille recomposée, la plupart de leurs huit enfants sourient de la démarche. Martine confesse :

“Certains pensent que c’est de la folie douce. Mais c’est pas grave. Donner du plaisir aux gens dans le Tour, c’est important.”

Parmi la foule, Jean-Pierre fait mouche. (@Le Tour en Têtes)

Avec son nouveau compagnon, elle a longé une bonne partie des routes de l’Hexagone. À regarder Jean-Pierre faire le pitre tout seul au bord de la nationale, sa vision de la France prend une résonance particulière :

“Les gens deviennent individualistes. Dans le contexte actuel, ça ne va pas aller en s’arrangeant. Mais j’ai remarqué que les gens étaient plus généreux dans les communes pauvres. Peut-être que les gens en bas de l’échelle arrivent à donner plus avec le peu qu’ils ont.”

Au fil de la journée, entre deux photos, quelques moqueries pas franchement amicales fusent. Jean-Pierre s’en accommode, immergé dans sa bulle de bonheur une fois son masque enfilé. En cas d’attaque, Frelontin est toujours armé de sa tapette géante.

Frelontin - “Donner de la gaîté au Tour de France”


In [9]:
guest = Feed.objects.get(id='51ca08a4e7a05b27f6aec18e')

In [10]:
guest


Out[10]:
<Feed: nybooks.com: Recent items (#51ca08a4e7a05b27f6aec18e)>

En russe


In [10]:
ar = Article.objects.get(id='51ca2147e7a05b27f6b441ee')
ar.content_type


Out[10]:
2

In [ ]:
markdown(ar.content)

In [5]:
OriginalData._meta


Out[5]:
{'abstract': False,
 'allow_inheritance': None,
 'collection': 'original_data',
 'db_alias': 'archive',
 'delete_rules': None,
 'id_field': 'id',
 'index_background': False,
 'index_drop_dups': False,
 'index_opts': None,
 'index_specs': [{'fields': [('article', 1)],
   'sparse': False,
   'unique': True}],
 'indexes': [],
 'max_documents': None,
 'max_size': None,
 'ordering': []}

In [6]:
from django.conf import settings

In [8]:
settings.MONGODB_HOST_ARCHIVE


Out[8]:
'37.187.88.26'

In [58]:
s = Subscription.objects.get(id='52a77f2784cc1701591dcbdb')
f = s.feed
s, f


Out[58]:
(<Subscription: karmak23+Bitcoin Magazine (#52a77f2784cc1701591dcbdb)>,
 <Feed: Bitcoin Magazine (#52a77e2884cc170157b2c4d4)>)

In [5]:
s.check_reads()


Checked subscription #52a77f2784cc1701591dcbd9. 0/0 non-existing/re-checked, 0/0 read/unread and 0 not created.
Out[5]:
(0, 0, 0, 0, 0)

In [55]:
f.url


Out[55]:
u'http://bitcoincharts.com/headlines.rss'

In [59]:
s.feed.refresh(force=True)


Forcing refresh of recently fetched feed Bitcoin Magazine (#52a77e2884cc170157b2c4d4).
Refreshing feed Bitcoin Magazine (#52a77e2884cc170157b2c4d4)…
Created article Bitrated: You Can No Longer Say Bitcoin … (#52a79140a246396ad3144e24) from http://feedproxy.google.com/~r/BitcoinMagazine/~3/ldKHZ_W373M/ in feed(s) Bitcoin Magazine (#52a77e2884cc170157b2c4d4).
Created article Declaring Bitcoin Income Part 1- Prepari… (#52a7916ba246396ad3144e28) from http://feedproxy.google.com/~r/BitcoinMagazine/~3/fcNPkEf3JiY/ in feed(s) Bitcoin Magazine (#52a77e2884cc170157b2c4d4).
Created article Vetco Is First Vet Clinic to Accept Bitc… (#52a7916ba246396ad3144e2b) from http://feedproxy.google.com/~r/BitcoinMagazine/~3/Hu6Qiy5GNY8/ in feed(s) Bitcoin Magazine (#52a77e2884cc170157b2c4d4).
Created article Using Bitcoin With QuickBooks- Part 3: P… (#52a7916ba246396ad3144e2f) from http://feedproxy.google.com/~r/BitcoinMagazine/~3/Y8KjcZDaFpw/ in feed(s) Bitcoin Magazine (#52a77e2884cc170157b2c4d4).
Created article Bitcoin: China’s New Special Economic Zo… (#52a7916ba246396ad3144e33) from http://feedproxy.google.com/~r/BitcoinMagazine/~3/3MYVVrdn7lU/ in feed(s) Bitcoin Magazine (#52a77e2884cc170157b2c4d4).
Created article Price, Value and The “True” Worth of Bit… (#52a7916ca246396ad3144e3a) from http://feedproxy.google.com/~r/BitcoinMagazine/~3/wY4xngNTfGM/ in feed(s) Bitcoin Magazine (#52a77e2884cc170157b2c4d4).
Created article A Bitcoin Love Affair at El Passion (#52a7916ca246396ad3144e3d) from http://feedproxy.google.com/~r/BitcoinMagazine/~3/ZIkc01aeTJw/ in feed(s) Bitcoin Magazine (#52a77e2884cc170157b2c4d4).
Created article China Releases First Regulatory Report o… (#52a7916ca246396ad3144e40) from http://feedproxy.google.com/~r/BitcoinMagazine/~3/bhe5UAE8bcQ/ in feed(s) Bitcoin Magazine (#52a77e2884cc170157b2c4d4).
Created article Last Minute Tax Planning Strategies for … (#52a7916ca246396ad3144e44) from http://feedproxy.google.com/~r/BitcoinMagazine/~3/wQMKTEWXgVo/ in feed(s) Bitcoin Magazine (#52a77e2884cc170157b2c4d4).
Created article Hi Mom! Send More Bitcoins! (#52a7916ca246396ad3144e47) from http://feedproxy.google.com/~r/BitcoinMagazine/~3/j2Af5K5K-2U/ in feed(s) Bitcoin Magazine (#52a77e2884cc170157b2c4d4).

In [50]:
f.last_fetch = None

In [51]:
f.last_etag = None

In [52]:
f.save()


Out[52]:
<Feed: LocalBitcoins (#52a77c5784cc17015c784134)>

In [53]:
f.refresh(force=True)


Refreshing feed LocalBitcoins (#52a77c5784cc17015c784134)…
No new content in feed LocalBitcoins (#52a77c5784cc17015c784134).

In [36]:
f.latest_article_date_published


Out[36]:
datetime.datetime(2008, 12, 10, 21, 9, 18, 709745, tzinfo=<UTC>)

In [57]:
f.good_articles_count


Out[57]:
15

In [ ]: